6 Dimensions for Assessing Usability Data in Analysis 評估可用性資料分析的6個維度

Why You Can’t Take a Data Point at Face Value 為什麼不能單純地看待資料點

你正在主持一個原型的可用性測試，目的是評估比較功能的實用性。在完成原型任務後，5個使用者中有4個表示他們喜歡這個功能，並且將來會使用它。從這個描述來看，你可能會認為該功能測試良好，不需要對設計進行任何更改。但是，如果：

• 實際只有一位使用者測試了該功能且遇到困難。

• 積極反饋僅在主持人主動詢問後才出現。

• 測試後續討論中未提及此功能。

• 使用者直接選擇產品，未比較其他選項。

這些因素會影響評估結果。使用者說法和行為可能不一致，所以分析資料時需要綜合考慮多個資料點和研究方法。這也解釋了為什麼AI不能有效分析可用性測試 - 它缺乏理解上下文和判斷測試有效性的能力。

6 Dimensions for Assessing Qualitative-Date Relevancy 評估定性資料相關性的6個維度

在定性資料分析中考慮的每個資料點都應該從6個關鍵維度或視角來檢驗其準確性和相關性。

1. Authenticity 真實性

2. Consistency 一致性

3. Repetition 重複性

4. Spontaneity 自發性

5. Appropriateness 適當性

6. Confounds 幹擾因素

真實性 Authenticity

評估使用者反饋和行為的自然程度。使用者的喜歡是否發自內心？要透過觀察他們的表達方式來判斷。

• 使用者是否在討好主持人？

• 使用者是否被迫評價某個功能？

反饋可能不真實的原因包括：研究框架的影響、不合適的招募物件，或因被觀察而改變行為。

一致性 Consistency

檢查使用者的言行是否前後一致。

• 使用者前後說法是否矛盾？

• 使用者的言論是否與行為相符？

例如，使用者可能說任務很簡單，但實際操作時卻遇到困難、出錯或多次重試。出現不一致時，應更關注使用者的實際行為而非言論。

重複性 Repetition

觀察某個反饋或行為出現的頻率，重複的行為能反映使用者的思維模式。

• 重複的評價往往代表真實感受

• 多位使用者犯同樣的錯誤，說明存在真實的可用性問題

自發性 Spontaneity

關注使用者的反饋是自發的還是被引導的。自發的反饋更可靠。

需要避免的引導包括：

• 過早透露研究目的

• 在問題中暗示特定功能

適當性 Appropriateness

評估測試物件和任務是否恰當：

• 使用者是否具有代表性？

• 樣本是否反映目標使用者群特徵？

• 任務是否貼近實際使用場景？

幹擾因素 Confounds

研究設計中可能影響結果的因素：

• 任務順序效應：前面的任務是否影響後續表現

• 複雜的任務說明：不清晰的指示可能影響完成度